• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法が提供される。前記方法の１つの操作は、前記三次元オブジェクトの深度データをキャプチャする。別の操作では、前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記三次元オブジェクトのキャプチャされた深度データが処理される。また、前記方法は、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義する操作も有する。また、前記方法は、前記三次元オブジェクトの前記幾何学的定義パラメータを認識オブジェクトデータベースに保存する操作も有する。別の操作では、前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる前記特定のアクションと、前記特定のアクションを認識したときに前記コンピュータシステムによって実行する特定のアクション間の相関とも、前記認識オブジェクトデータベースに保存される。
    公开号:JP2011507129A
    申请号:JP2010539466
    申请日:2008-12-16
    公开日:2011-03-03
    发明作者:エム．；ザルースキ ゲイリー；ジロー トーマス
    申请人:ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー；ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド；
    IPC主号:G06T19-20
    专利说明:

    [0001] ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。]
    背景技術

    [0002] このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしている。
    ゲームプラットホームの例に、ソニープレイステーション、ソニープレイステーション２（ＰＳ２）およびソニープレイステーション３（ＰＳ３）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトルユニットなどの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。]
    発明が解決しようとする課題

    [0003] ゲームの複雑さがプレーヤの興味を引き続けていることから、ゲームおよびハードウェアのメーカは更なるインタラクティブ機能（インタラクティビティ）およびコンピュータプログラムを実現するために革新を続けてきている。処理能力が大幅な進歩を遂げているにも関わらず、コンピュータプログラムまたはインタラクティブゲームとインタラクトする従来の方法は比較的変わっていない。例えば、コンピュータシステムは、未だに、コンピュータマウス、キーボード、場合によっては特製のオブジェクト／デバイスなどの基本的な入力物を必要としている。同様に、コンピュータゲームコンソールは、通常、ゲームおよび／またはコンソールとのインタラクションを可能にするために、何らかのタイプのコントローラを必要とする。しかし、このような入力物は全て、用途が事前に決められて専用に作製されており、特別なボタン、構成、および事前に決められた機能を有する。したがって、従来のインタフェースデバイスを購入して、製造業者が定めた用途に用いる必要がある。]
    課題を解決するための手段

    [0004] 本発明の実施形態は、この状況においてなされたものである。]
    [0005] 一実施形態では、コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法が開示される。前記方法の１つの操作は、前記三次元オブジェクトの深度データをキャプチャする。別の操作では、前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記三次元オブジェクトのキャプチャされた深度データが処理される。また、前記方法は、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義するステップも有する。また、前記方法は、前記三次元オブジェクトの前記幾何学的定義パラメータを認識オブジェクトデータベースに保存する操作も有する。別の操作では、前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる前記特定のアクションと、前記特定のアクションを認識したときに前記コンピュータシステムによって実行する特定のアクション間の相関とも、前記認識オブジェクトデータベースに保存される。]
    [0006] 別の実施形態では、コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法が開示される。前記方法は、前記三次元オブジェクトを特定する操作を有する。前記三次元オブジェクトを特定するために、前記三次元オブジェクトの深度データをキャプチャする操作と、前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記キャプチャした前記三次元オブジェクトの深度データを処理する操作が行われる。また、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義する操作も含まれる。また、前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる特定のアクションと、前記コンピュータシステムによって実行する特定のアクション間の相関とを、認識オブジェクトデータベースに保存する操作も含まれる。また、前記方法は、カメラに前記三次元オブジェクトを提示する操作と、前記コンピュータシステムが実行する前記特定のアクションの１つ以上をトリガするように、前記カメラの前で前記提示した三次元オブジェクトを動かす操作も有する。]
    [0007] 更に別の実施形態では、コンピュータシステムとのインタフェース時に、三次元オブジェクトを制御デバイスとして使用するためのシステムも開示される。前記システムは、前記コンピュータシステムとインタフェースされ、三次元空間からデータをキャプチャするように構成されている。また、前記システムには、前記コンピュータシステムにリンクされているストレージも含まれる。また、前記システムは、前記コンピュータシステムに結合されうるディスプレイも備えうる。前記ディスプレイは、オブジェクトの幾何学的パラメータを取得するためのキャプチャセッションの始動が可能となるように構成されうる。また、前記キャプチャセッションは、前記オブジェクトがインタラクティブなセッション中に前記カメラの前で動かされたときに、前記オブジェクトを使用して行われるアクションを割り当てるためにも使用されうる。前記インタラクティブなセッション中に、前記幾何学的パラメータと前記割り当てられたアクションとが、前記コンピュータシステムにリンクされた前記ストレージ内のアクセス用のデータベースに保存されうる。前記割り当てられたアクションが、ユーザが前記カメラの前で前記オブジェクトを持って行った特定の動きに対して前記ユーザによってカスタム定義されうる。]
    図面の簡単な説明

    [0008] 本発明の一実施形態による、コンピュータシステム１０８とインタラクトするための一般的な三次元オブジェクト１０２を、ユーザ１０１が操作している場面１００を示す。
    本発明の一実施形態による、コンピュータシステム１０８が三次元オブジェクト１０２を認識できるようにするために実行されうる各操作を示す例示的なフローチャートである。
    本発明の一実施形態による、コンピュータシステムを制御するために三次元オブジェクトを定義および使用するための手順を示す別の例示的なフローチャートである。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
    本発明の一実施形態による、さまざまな三次元オブジェクトが認識され、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、各種の仮想デバイスの制御に使用される例である。
    本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想デバイスの制御に使用される例である。
    本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想デバイスの制御に使用される例である。
    本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想デバイスの制御に使用される例である。
    本発明の一実施形態による、事前に構成済みのリモート制御操作を実行するための三次元オブジェクトの動きを示す。
    本発明の一実施形態による、事前に構成済みのリモート制御操作を実行するための三次元オブジェクトの動きを示す。
    本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
    本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
    本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
    本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
    本発明の一実施形態による、三次元オブジェクトの幾何学的定義パラメータをマップするための操作を示す例示的なフローチャートである。
    本発明の一実施形態による、仮想要素またはコンピュータシステムのグラフィカルユーザインタフェースを制御するためにオブジェクトを構成するための一方法を示す例示的なフローチャートである。
    本発明の一実施形態による、マップおよび構成されたオブジェクトを使用するための操作を示す例示的なフローチャートである。
    本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー（登録商標）プレイステーション（登録商標）３エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。]
    実施例

    [0009] 本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。]
    [0010] 本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。]
    [0011] 日常的なオブジェクトの幾何学的識別データをキャプチャし、コンピュータシステムを制御するために、この日常的なオブジェクトに制御をマップするための発明が開示される。概して、コンピュータシステムは、ユーザから入力を取得するものであれば、汎用コンピュータ（例えば、デスクトップ、ラップトップ、ポータブルデバイス、電話など）、ゲームコンソールのような専用コンピュータを問わず、どのようなタイプのシステムであってもよい。深度データを測定可能なカメラを使用して、アクションと共に、幾何学的データがキャプチャされ、これらが、プログラムの各種制御に相関されうる。一実施形態では、１台のカメラが使用されても、別の実施形態では、さまざまな位置または視点から画像をキャプチャするために複数のカメラが使用されてもよい。相関された制御は、コンピュータシステムによって実行されるプログラムによって定義される仮想オブジェクトの態様を制御するために使用されうる。オブジェクトを使用して行われるアクションと仮想世界の要素の制御間の相関が、キャプチャされたオブジェクトの幾何学的識別データと共に保存されうる。カメラに提示されたオブジェクトを認識するために、カメラによってキャプチャされたリアルタイム画像データが、保存されている幾何学的識別データに対して比較されうる。認識されると、保存された相関が読み出されて、ユーザがオブジェクトを操作して、仮想オブジェクトのさまざまな態様を制御できるようになる。したがって、キャプチャシーケンス、方法、およびシステムは、現実世界のオブジェクトのキャプチャを可能にし、その幾何学的識別データを判別し、現実世界のオブジェクトにさまざまな制御をマッピング可能にすると概して理解すべきである。オブジェクトの認識と、プログラムの制御に相関されたアクションの認識とにより、コンピュータシステムとのユーザインタラクションを向上させることができる。]
    [0012] 本明細書に使用される「三次元オブジェクト」とは、接触、保持、移動、画像へのキャプチャ、ビデオへのキャプチャ、そのサイズまたは相対サイズを判別するための他の物との比較、または高さ、幅、長さまたは深度などに基づく識別が可能な物理的または材料的なオブジェクトを含むとする。仮想世界オブジェクトは、広く、画面上に表示可能なコンピュータによって生成された１つ以上の画像を含むとする。画面は、仮想世界オブジェクトを、二次元または三次元のオブジェクトとして提示でき、ユーザのインタラクティビティに基づいて、移動、配置、インタラクトまたは変更されるようにアニメーション表示させることができる。インタラクティビティとしては、三次元オブジェクト、あるいはキーボード、コンピュータマウス、タッチスクリーン、ゲームコントローラ、モーションセンサなどの他のインタフェースデバイスを使用して、ユーザによって提供されるコマンド、音響または可聴音声、およびこれらの組み合わせが挙げられる。以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。]
    [0013] 図１は、本発明の一実施形態による、コンピュータシステム１０８とインタラクトするための一般的な三次元オブジェクト１０２を、ユーザ１０１が操作している場面１００を示す。コンピュータシステム１０８は、ディスプレイ１０６にビデオを出力することができる。一部の実施形態では、ディスプレイ１０６がコンピュータモニタであり、別の実施形態ではディスプレイ１０６がテレビジョンでもよい。場面１００には図示されていないが、コンピュータシステム１０８は音声を出力することもできる。コンピュータシステム１０８にカメラ１０４が関連している。カメラ１０４は、画像とビデオをキャプチャすることができ、これらがコンピュータシステム１０８によって処理されうる。コンピュータシステム１０８はカメラ１０４と無線通信しているように図示されているが、有線接続を使用してもよい。] 図１
    [0014] カメラ１０４は、深度検知ライン１０４ａで示すように、深度データをキャプチャするように構成されうる。一部の実施形態では、カメラ１０４からの深度データがコンピュータシステム１０８に送信されて、コンピュータシステム１０８によって処理される。また、コントローラ１１０からのユーザ入力も、コンピュータシステム１０８に送信される。各種実施形態では、コントローラ１１０は、限定的ではないがブルートゥース、ＷｉＦｉなどの無線プロトコルを使用してユーザ入力を送信する。このため、コンピュータシステム１０８に有線接続しているコントローラが使用されてもよい。下で詳細に説明するように、カメラ１０４からキャプチャされた画像を介して、コンピュータシステム１０８によって認識される一般的な三次元オブジェクト１０２を使用しても、コンピュータシステム１０８にユーザ入力を提供することができる。三次元オブジェクト１０２がＵ字形状であるのは、図示がわかりやすく簡単であることから選んだため、限定するものと解釈すべきではない。「三次元オブジェクト」との用語は、ユーザが持てるものであれば、どのような物理的なオブジェクトも指すものとする。このように、三次元オブジェクト１０２は、コンピュータシステム１０８のインタフェース用に特別に作られたものである必要はなく、ユーザ１０１の自宅にある任意のオブジェクトでもよい。]
    [0015] 図２Ａは、本発明の一実施形態による、コンピュータシステム１０８が三次元オブジェクト１０２を認識できるようにするために実行されうる各操作を示す例示的なフローチャートである。このフローチャートには、ユーザの視点からユーザに対して表示される代表的な画像も添付されている。操作２００において、ユーザが、オブジェクトキャプチャ手順を開始するための例示的なグラフィカルユーザインタフェースを操作する。各種のメニューを含む多様なユーザインタフェースを使用して、コンピュータシステムを表示し、これとインタラクトすることができる。別の実施形態では、可聴音コマンド、ジェスチャ、あるいはコントローラまたは事前キャプチャ済みの三次元オブジェクトへのユーザ入力が認識され、操作２００に示すキャプチャプロセスが開始されうる。] 図２Ａ
    [0016] 操作２０２において、ユーザがカメラに三次元オブジェクト１０２を向ける。説明を簡単にするために、三次元オブジェクト１０２を、ブロック状のＵ字状のオブジェクトとして示す。しかし、三次元オブジェクト１０２は、人が操作でき、カメラが感知可能なものであれば、どのような現実世界のオブジェクトでもよい。代表的な三次元オブジェクトとしては、コーヒーマグ、コップ、本、瓶などのオブジェクトが挙げられる。上に挙げた三次元オブジェクトは例示として挙げたに過ぎず、限定するものとして解釈すべきではない点に留意されたい。]
    [0017] 操作２０４において、ユーザが、カメラの前で三次元オブジェクト１０２を回転させるように求められる。図２に示すように、カメラが、三次元オブジェクト１０２を認識するのに必要な像をキャプチャできるように、ユーザは、三次元オブジェクト１０２を異なる方向に回転させるように求められうる。ユーザが三次元オブジェクト１０２を回転させると、カメラとコンピュータシステムは、三次元オブジェクト１０２に関連する幾何学的定義パラメータをキャプチャして、これを処理しうる。別の実施形態では、複数台のカメラが使用され、さまざまな位置に配置された場合、空間のさまざまな角度からの画像マッピングが可能となる。一実施形態では、コンピュータシステムは、カメラから取得した深度データを使用して、三次元オブジェクトの各種幾何学的定義パラメータ同士の比率を測定する。幾何学的定義パラメータには、点、面、遷移面（transitional surface：ＴＳ）、面取りされた角、強調された線などの三次元オブジェクトの認識可能な特徴などがあるが、これらに限定されない。このような実施形態では、認識させようとしている三次元オブジェクトを、キャプチャされた時とは異なる距離でカメラに提示している場合でも、コンピュータシステムが、幾何学的定義パラメータ同士の比率を認識することにより、三次元オブジェクトをより容易に認識可能となる。操作２０６は、コンピュータシステムが定義済みの幾何学的パラメータに基づいて三次元オブジェクト１０２を認識するのに十分な三次元オブジェクト１０２の像が提示された時点で、ユーザにその旨を通知する。]
    [0018] 一実施形態では、操作２０６は、コンピュータ生成の三次元オブジェクト１０２のモデルを、コンピュータシステムによってキャプチャされ、モデリングされた状態で表示する。別の実施形態では、操作２０６は、三次元オブジェクト１０２を持っているユーザのリアルタイムのビデオを表示する。操作２０６において、ユーザは、構成を行わずに三次元オブジェクト２０６を保存するか、続いて三次元オブジェクト２０６の構成を行うかを選択することができる。]
    [0019] 図２Ａを引き続き参照すると、操作２０８は、ユーザに三次元オブジェクト１０２に関連する幾何学的パラメータを保存するように促す画面の例示的な図である。操作２０８は、三次元オブジェクト１０２の幾何学的パラメータを保存するか、または保存手順をキャンセルするかをユーザが選択可能な例示的な画面である。ユーザが三次元オブジェクトを構成するように選択すると、操作２１０において、ユーザは、事前に設定された構成かカスタム構成かを選択できる。いずれの場合も、三次元オブジェクト１０２を構成することにより、ユーザは、三次元オブジェクト１０２を使用して行う特定のアクションと、コンピュータシステムによって実行される特定のアクション間の相関を定義することができる。一実施形態では、三次元オブジェクト１０２を使用してユーザが実行するアクションにより、ユーザがインタフェースしているコンピュータシステムを制御可能な、事前に構成済みの設定をユーザが選択することができる。例えば、事前に構成済みの設定は、三次元オブジェクトを使用してユーザが実行するアクションを、グラフィカルユーザインタフェースのメニューの操作および選択と相関させうる。別の実施形態では、コンピュータシステムによって実行されているゲームの形態を制御するために、ユーザが三次元オブジェクトをカスタム構成することができ、これについては後述する。] 図２Ａ
    [0020] 図２Ｂは、本発明の一実施形態による、コンピュータシステムを制御するために三次元オブジェクトを定義および使用するための手順を示す別の例示的なフローチャートである。この手順は、開始操作２２０から開始する。操作２２２において、ユーザは三次元オブジェクトを提示し、三次元オブジェクトの深度データがキャプチャされる。上で説明したように、三次元オブジェクトの深度データをキャプチャするために、１台の深度カメラが使用されても、複数台の深度カメラが使用されてもよい。操作２２４は、キャプチャされた三次元オブジェクトの深度データを処理して、幾何学的定義パラメータを生成する。一実施形態では、深度データを使用して、三次元オブジェクトのワイヤフレームモデルが生成されうる。別の実施形態では、三次元オブジェクトの深度データが処理され、限定的ではないが、長さ、高さおよび幅などの特定の特徴が定義されてもよい。] 図２Ｂ
    [0021] 操作２２６において、ユーザは、三次元オブジェクトを使用して実行するアクションと、コンピュータによって実行する特定のアクション間の相関を定義しうる。三次元オブジェクトを使用して行うアクションとしては、三次元オブジェクトを動かしたり、コンピュータシステムに関連する深度カメラまたは他のセンサが検出可能なように操作することが挙げられる。コンピュータシステムは、三次元オブジェクトを使用してアクションを行っているユーザの画像と深度データのシーケンスをキャプチャして、アクション全体での三次元オブジェクトの相対位置を決定しうる。例えば、一実施形態では、ユーザが、１つの面で三次元オブジェクトを振ったり、複数の面で三次元オブジェクトを振ったりしうる。同様に、別の実施形態では、ユーザが、三次元オブジェクトを持ちながら、現実世界の三次元空間で複雑なジェスチャまたは簡単なジェスチャを行ってもよい。]
    [0022] ユーザは、三次元オブジェクトを使用して行う現実世界の特定のアクションまたはジェスチャを、コンピュータによって実行する仮想世界のアクションに関連または相関させることができる。このため、ユーザが、三次元オブジェクトを持ちながら特定のジェスチャを行うと、コンピュータシステムが特定のタスクを実行するか、特定の命令を実行しうる。一部の実施形態では、三次元オブジェクトを使用して行う現実世界のアクションが、仮想世界のゴルフクラブまたはテニスラケットを振るなどの、特定の仮想世界の動きと関連付けられうる。別の実施形態では、現実世界のアクションが、ユーザインタフェースのメニュー操作に関連付けられうる。]
    [0023] 操作２２８は、三次元オブジェクトの幾何学的定義パラメータを、三次元オブジェクトを使用するユーザのアクションとコンピュータによって実行する仮想世界のアクションの相関と共に、データベースに保存する。データベースへの保存を行ったら、コンピュータシステムは、深度データのリアルタイム解析を実行して、データベース内で幾何学的定義パラメータを認識し、ユーザが、対応する現実世界の三次元オブジェクトを持ったかどうかを特定しうる。更に、コンピュータシステムは、ユーザが認識済みの三次元オブジェクトを持って行っているアクションのリアルタイム解析を実行して、ユーザが、仮想世界のアクションまたはコンピュータシステム用のコマンドに相関しているアクションを行ったときを特定する。手順は、終了操作２３０で終了する。]
    [0024] 図３Ａ〜３Ｇは、本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。以下の実施形態では、三次元オブジェクト１０２が、各種のゲーム内アクションに関連する特定の機能を実行するように構成されているとする。以下の例は、例示的であり、限定することを意図するものではない。更に、三次元オブジェクトが、複数の異なるゲームの複数の機能を実行するように認識および構成することができる点に留意すべきである。] 図３Ａ 図３Ｂ 図３Ｃ 図３Ｄ 図３Ｅ 図３Ｆ 図３Ｇ
    [0025] 図３Ａは、本発明の一実施形態による、三次元オブジェクト１０２を、野球バットのように使用するように構成する方法を示す。現実世界（REAL-WORLD）の図では、ユーザ１０１ａが、三次元オブジェクト１０２を持ち、野球バットのように振っている。したがって、図３Ａのゲーム内（IN-GAME）の図に示すように、三次元オブジェクト１０２が現実世界で振られると、ユーザ１０１ａを表わすゲーム内キャラクタ１０１ｂが仮想野球バット３００を振る。一実施形態では、ゲーム内キャラクタ１０１ｂは、現実世界のプロ野球選手のコンピュータ生成キャラクタであり、ユーザ１０１ａが三次元オブジェクト１０２を振ると、仮想野球バット３００を振る。別の実施形態では、ゲーム内キャラクタ１０１ｂは、ユーザが作成したアバターであり、仮想球場に組み込まれて表示される。別の実施形態では、ゲーム内キャラクタ１０１ｂは、コンピュータが生成する現実世界のキャラクタとユーザが作成したアバターを合成したキャラクタであり、三次元オブジェクト１０２を現実世界で振ると、仮想野球バット３００を振る。] 図３Ａ
    [0026] 図３Ｂは、本発明の一実施形態による、三次元オブジェクト１０２の向きの変化を、仮想世界の光の剣３０２ａ，３０２ｂの異なるアクションに構成する方法を示す。現実世界の図に示すように、ユーザ１０１は三次元オブジェクト１０２ａを第１の向きで持っている。一実施形態では、この第１の向き１０２ａが、図３Ｂのゲーム内の図に示すように、「オフ」状態の仮想世界の光の剣３０２ａに相関される。逆に、現実世界の図に示すように、ユーザ１０１が三次元オブジェクト１０２ｂを第２の向きで持つと、仮想世界の光の剣３０２ｂが、ゲーム内の図に示す「オン」位置になる。このため、ユーザ１０１が三次元オブジェクトを向き１０２ｂに示すように持っている場合、コンピュータは、延びた状態の光の剣を持っているゲーム内キャラクタを表示する。また、三次元オブジェクト１０２ｂを「オン」位置で持っている状態で、カメラとコンピュータシステムは、三次元オブジェクト１０２ｂの移動を認識し、これに応じてゲーム内光の剣３０２ｂを移動させうる。] 図３Ｂ
    [0027] 図３Ｃ〜３Ｇは、本発明の他の実施形態による、三次元オブジェクト１０２を使用して制御可能な別の仮想世界オブジェクトを示す。例えば、図３Ｃでは、三次元オブジェクト１０２が、仮想ゴルフクラブ３０４のスイングの制御に使用されてもよい。同様に、図３Ｄでは、仮想テニスラケット３０６が、ユーザが三次元オブジェクト１０２を振ることで制御されてもよい。図３Ｅでは、三次元オブジェクト１０２が、ユーザが仮想ボウリングボール３０８を制御できるように使用されうる。図３Ｆでは、三次元オブジェクト１０２が、仮想のプールまたはビリヤードのゲームで、仮想キュー３１０の制御に使用されてもよい。三次元オブジェクトの向きの検出が必要となりうる別の例が図３Ｇに示されており、この図では、三次元オブジェクト１０２が、仮想ハンドル３１２の制御に使用される。三次元オブジェクトの向き１０２が、仮想ハンドル３１２が中心位置に戻った時点を決定するために使用され、この場合、仮想の車が実質的に直線方向に走行されうる。したがって、ユーザが持っている三次元オブジェクト１０２の向きを、ほかの仮想世界オブジェクトの制御や、コンピュータシステムのインタフェースの制御にも適用することもできる。] 図３Ｃ 図３Ｄ 図３Ｅ 図３Ｆ 図３Ｇ
    [0028] 図４Ａ〜４Ｄは、本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想世界デバイスの制御に使用される例である。図４Ａは、ユーザ１０１の前に三次元オブジェクト１０２，４０２，４０４が置かれている場面４００を示す。この例では、三次元オブジェクト１０２，４０２，４０４は、コンピュータシステムによって既にキャプチャされており、カメラ１０４に提示したときにコンピュータシステムが認識可能である。] 図４Ａ 図４Ｂ 図４Ｃ 図４Ｄ
    [0029] 図４Ｂにおいて、ユーザ１００が、三次元オブジェクト１０２を取り、コンピュータシステムで実行中のソフトウェアは、この三次元オブジェクトが、野球のバット４０６、ハンドル４０８またはリモコン４１０のいずれを制御するかを決定する。一実施形態では、コンピュータシステムが野球シミュレーションプログラムを実行中の場合、三次元オブジェクト１０２は仮想世界の野球バット４０６として認識され、レンダリングされる。このため、コンピュータシステムは、三次元オブジェクト１０２を持ってユーザ１００が行うバットのスイング動作を認識しようとすることができる。同様に、コンピュータシステムがテニスシミュレーションをシミュレーションするソフトウェアを実行中の場合、ユーザ１００は、現実世界における三次元オブジェクト１０２の動きに基づいて仮想世界のテニスラケット４０８を制御することができる。別の実施形態では、三次元オブジェクト１０２の動きと三次元オブジェクト１０２のインタラクションが、リモコン４１０の機能として構成および認識されうる。これにより、ユーザは、三次元オブジェクト１０２を動かすことで、音量の上げ下げや、チャンネルガイドの呼び出し、チャンネルガイドのページ移動などを行うことができるが、これらに限定されない。] 図４Ｂ
    [0030] 図４Ｃでは、ユーザが三次元オブジェクト４０２を取っている。三次元オブジェクト４０２は、リモコン４１０として使用することができる。あるいは、三次元オブジェクト４０２が、仮想テニスラケット４１２または仮想ボウリングボール４１４の制御に使用されてもよい。同様に、図４Ｄでは、コンピュータシステムで実行中のソフトウェアの種類に応じて、三次元オブジェクト４０４が、仮想野球バット４０６、仮想ゴルフクラブ４１６またはリモコン４１０として認識されうる。コンピュータシステムで実行中のソフトウェアが、三次元オブジェクトに関連する複数の仮想世界相対物を認識することができる一部の実施形態では、コンピュータシステムが、どの仮想世界オブジェクトを制御するかをユーザに選択させてもよい。別の実施形態では、ユーザが三次元オブジェクトを手に取ったときに、コンピュータシステムが三次元オブジェクトを、ユーザ定義のデフォルトの仮想オブジェクトとして自動的に認識する。このため、適切なソフトウェアの実行中に、ユーザは、三次元オブジェクト１０２，４０２，４０４を、それぞれ仮想野球バット、仮想ボウリングボール、および仮想ゴルフクラブに関連付けて構成することができる。このため、オブジェクト１０２を取ると、直ちに、スクリーン上のキャラクタが野球バットを持って表示される。同様に、ユーザが三次元オブジェクト４０２を取ると、スクリーン上のキャラクタが仮想ボウリングボールを持ち、仮想ボウリングボールを制御している。同様に、ユーザが三次元オブジェクト４０４を取ると、スクリーン上のキャラクタによって仮想ゴルフクラブ４１６が制御される。別の実施形態では、各三次元オブジェクト１０２，４０２，４０４が、ファーストパーソンシューティングゲームのキャラクタが使用可能な異なる武器を表わしてもよい。例えば、オブジェクト１０２はナイフに対応し、オブジェクト４０２はピストルに対応し、オブジェクト４０４はアサルトライフルに対応してもよい。現実世界の三次元オブジェクトを物理的に交換することにより、ユーザのインタラクションと、ファーストパーソンシューティングゲームの楽しさを向上させることができる。] 図４Ｃ 図４Ｄ
    [0031] 図５Ａ，図５Ｂは、本発明の一実施形態による、事前に構成済みのリモート制御操作を実行するための三次元オブジェクト１０２の動きまたは変形を示す。三次元オブジェクト１０２の非変形時と変形時の幾何学的定義パラメータをキャプチャし、基本的なテレビジョン機能にマップした後に、コンピュータシステムは、音量の変更やチャンネルの変更などのテレビジョン機能を制御するために行う三次元オブジェクト１０２の変化を認識しうる。図５Ａに示す実施形態では、Ｙ軸を中心に三次元オブジェクト１０２を回転させると、チャンネルを昇順または降順（図中のchannel+, channel-）に変更することができる。同様に、図５Ｂに示す実施形態では、Ｘ軸を中心に三次元オブジェクトを回転させると音量を上下(図中のvolume+, volume-)させることができる。] 図５Ａ 図５Ｂ
    [0032] 図６Ａ〜６Ｄは、本発明の一実施形態による、さまざまな変形状態の三次元オブジェクトのキャプチャを示す。例えば、コンピュータシステムで実行中のソフトウェアの各種態様を制御するために、三次元オブジェクトが捻られたり曲げられうる。一実施形態では、三次元オブジェクトを図６Ａに示す元の形状を捻って図６Ｂの歪んだ形状にすると、テレビの番組表を表示させることができる。同様に、三次元オブジェクトの図６Ｃに示す変形が、コンピュータシステムにテレビ番組表の次ページを表示させることに相関されうる。逆に、三次元オブジェクトを図６Ｄに示すように変形させると、コンピュータシステムにテレビ番組表の前ページを表示させるように指示することができる。] 図６Ａ 図６Ｂ 図６Ｃ 図６Ｄ
    [0033] 図６Ａ〜６Ｄで使用する変形と対応するアクションは、例示を目的としており、限定であるとみなすべきではない。別の実施形態では、仮想世界の機械、仮想世界のオブジェクトまたはグラフィカルユーザインタフェースの各種態様を制御するために、三次元の機械的なオブジェクトが、さまざまな状態でキャプチャされてもよい。例えば、はさみやホチキスが、開位置と閉位置でキャプチャされうる。一実施形態では、ホチキスまたははさみが閉じているときは、仮想世界のキャラクタが立ち、開いているときはキャラクタが屈んでもよい。あるいは、ステープラまたははさみの開閉により、ゲーム内キャラクタをジャンプさせてもよい。] 図６Ａ 図６Ｂ 図６Ｃ 図６Ｄ
    [0034] 図７は、本発明の一実施形態による、コンピュータシステムを制御するために使用する三次元オブジェクトの幾何学的定義パラメータをマップするための操作を示す例示的なフローチャートである。操作７００において、ユーザが、オブジェクトキャプチャシステムを始動する。操作７０２において、ユーザは、深度カメラにオブジェクトを提示する。オブジェクトは深度カメラが識別可能などのようなオブジェクトでもよく、オブジェクトは、コンピュータシステムとのインタフェース用に特別に構成されている必要はない。操作７０４において、深度カメラとコンピュータシステムが、複数の視野角から深度データをキャプチャして、幾何学的定義パラメータによってオブジェクトを定義する。一部の実施形態では、幾何学的定義パラメータは、高さ、深度、幅などの寸法に関連してもよい。別の実施形態では、オブジェクトの特定の特徴同士の比率が使用されてもよい。更に別の実施形態では、寸法と特徴の比率との組み合わせが、幾何学的定義パラメータとして使用されてもよい。] 図７
    [0035] 操作７０６において、オブジェクトを異なる形または別の形に変形または操作できるかどうかが判定される。一実施形態では、この操作は、オブジェクトが変形可能であるか、または別の構成を有することができるかを示すように、ユーザに促すことによって行われうる。更に別の実施形態では、コンピュータシステムが、変形可能であると認識できる基本的な汎用のオブジェクト形状を有してもよい。例えば、コンピュータシステムは、一般的なはさみまたはホチキスを認識可能であってもよい。このように、ユーザがはさみまたはホチキスを提示すると、コンピュータシステムは、自動的に、歪んだ構成または別の構成の深度データをキャプチャするようにユーザを促す。操作７０８は、操作または変形されたオブジェクトの深度データをキャプチャする。一部の実施形態では、操作７０８が、ユーザに、操作７０４の視野角と同じ複数の視野角から、オブジェクトを、別の形状で深度カメラに提示するように要求してもよい。操作７１０は、オブジェクトの別の形状または操作された形状を含む、オブジェクトに関連する全ての深度データを保存する。]
    [0036] 図８は、本発明の一実施形態による、仮想要素またはコンピュータシステムのグラフィカルユーザインタフェースを制御するためにオブジェクトを構成するための一方法を示す例示的なフローチャートである。操作８００は、オブジェクトに関連する保存済みの深度データを呼び出す。一部の実施形態では、呼び出される深度データが、ローカルハードディスクドライブまたはフラッシュメモリなどの、コンピュータシステムに関連するローカルストレージに記憶されている。別の実施形態では、深度データが、ローカルネットワークに記憶されても、更に別の実施形態ではインターネットを介してアクセス可能なリモートストレージに記憶されてもよい。操作８０２は、オブジェクトの動きを、コンピュータシステムによって実行するアクションと関連させる。別の実施形態では、操作８０２が、オブジェクトを振る、揺する、変形させるなど、オブジェクトを使用して行うアクションを、コンピュータシステムが実行するアクションに関連させてもよい。操作８０４では、関連させた動きおよびアクションを、オブジェクトに関連する深度データと共に保存する。関連させた動きおよびアクションが、ハードディスクドライブまたは他の不揮発性メモリなどのローカルストレージ要素に保存されうる。別の実施形態では、関連させた動きおよびアクションが、インターネットを介してネットワークストレージにアップロードされ、友人との間で公に共有されてもよい。] 図８
    [0037] 図９は、本発明の一実施形態による、マップおよび構成されたオブジェクトを使用するための操作を示す例示的なフローチャートである。操作９００において、ユーザが、オブジェクトを認識させるために深度カメラに提示する。操作９０２において、コンピュータシステムは、深度カメラデータのリアルタイム解析を実行し、記憶されている幾何学的パラメータからオブジェクトを認識する。また、操作９０２は、オブジェクトに関連する深度データと共に保存されている関連する動きおよびアクションも読み出す。操作９０４において、カメラとコンピュータシステムは、オブジェクトを操作し動かしているユーザのリアルタイム画像処理を実行して、オブジェクトを使用するアクションが認識されると、所期のアクションを実行する。ユーザが複数のオブジェクトをマップおよび構成させることも可能であり、コンピュータシステムは、深度カメラに別のオブジェクトが提示されると、構成を認識して構成同士を切り替えることができる。更に、１つのオブジェクトが複数の構成を有することもあり、認識時にはデフォルトの構成が読み込まれる。一実施形態では、ユーザが、別の構成を選択的に読み込ませることができる。別の実施形態では、１つのオブジェクトに対して複数の構成が存在する場合、ユーザに対して、デフォルトの構成の読み込みの確認を求められてもよい。] 図９
    [0038] 図１０は、本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー（登録商標）プレイステーション（登録商標）３エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。システムユニット１０００は、システムユニット１０００に接続可能なさまざまな周辺機器を備える。システムユニット１０００は、Cellプロセッサ１０２８、Rambus（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１０２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１０３２を有するReality Synthesizerグラフィックユニット１０３０、およびＩ／Ｏブリッジ１０３４を備える。また、システムユニット１０００は、Ｉ／Ｏブリッジ１０３４を介してアクセス可能な、ディスク１０４０ａおよび着脱可能なスロットインハードディスクドライブ（ＨＤＤ）１０３６から読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ１０４０も備える。任意選択で、システムユニット１０００は、同様にＩ／Ｏブリッジ１０３４を介してアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリースティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ１０３８も備える。] 図１０
    [0039] また、Ｉ／Ｏブリッジ１０３４は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１０２４、ギガビットイーサネット（登録商標）ポート１０２２、ＩＥＥＥ ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１０２０、および最大７つのブルートゥース接続に対応可能なブルートゥース（登録商標）無線リンクポート１０１８にも接続している。]
    [0040] 動作時に、Ｉ／Ｏブリッジ１０３４は、１つ以上のゲームコントローラ１００２からのデータを含む、全ての無線、ＵＳＢ、およびイーサネット（登録商標）のデータを処理する。例えば、ユーザがゲームをプレイ中に、Ｉ／Ｏブリッジ１０３４はブルートゥースリンクを介してゲームコントローラ１００２からデータを受信して、これをＣｅｌｌプロセッサ１０２８に転送し、Ｃｅｌｌプロセッサ１０２８が適宜ゲームの現在の状態を更新する。]
    [0041] また、無線、ＵＳＢ、およびイーサネット（登録商標）の各ポートを介して、ゲームコントローラ１００２のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン１００４、キーボード１００６、マウス１００８、ソニープレイステーションポータブル（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス１０１０、ＥｙｅＴｏｙ（登録商標）ビデオカメラ１０１２などのビデオカメラ、マイクロフォンヘッドセット１０１４などがある。このため、これらの周辺機器は、原則としてシステムユニット１０００に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス１０１０はＷｉ−Ｆｉアドホック接続を介して通信し、マイクロフォンヘッドセット１０１４はブルートゥースリンクを介して通信しうる。]
    [0042] これらのインタフェースを提供することにより、プレイステーション３デバイスは、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、VoIP電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。]
    [0043] 更に、ＵＳＢポート１０２４を介して旧式メモリカードリーダ１０１６をシステムユニットに接続することができ、プレイステーション（登録商標）デバイスまたはプレイステーション２（登録商標）で用いられていたタイプのメモリカード１０４８の読み出しが可能となる。]
    [0044] 本実施形態では、ゲームコントローラ１００２は、ブルートゥースリンクを介してシステムユニット１０００と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ１００２が、ＵＳＢポートに接続されてもよく、これにより、ゲームコントローラ１００２のバッテリに充電するための電力も供給する。ゲームコントローラは、１つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、各軸の並進運動および回転に対応する６自由度の移動を感知する。したがって、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーションポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーションポータブルデバイスの場合、追加のゲーム情報または制御情報（例えば制御命令またはライブの数）が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルおよびペダル（図示せず）、あるいは、即答クイズゲームのための１つまたは複数の大型のボタン（これも図示なし）などの特注品のコントローラなどがある。]
    [0045] また、リモコン１００４も、ブルートゥースリンクを介してシステムユニット１０００と無線通信するように動作可能である。リモコン１００４は、ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０の操作、およびディスクの内容の閲覧のために適した制御を備える。]
    [0046] ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０は、従来の記録済みＣＤ、記録可能ＣＤ、およびいわゆるスーパーオーディオＣＤのほか、プレイステーションデバイスおよびプレイステーション２デバイスと互換のＣＤ−ＲＯＭを読み出すように動作可能である。また、リーダ１０４０は、従来の記録済みＤＶＤおよび記録可能ＤＶＤのほか、プレイステーション２デバイスおよびプレイステーション３デバイスと互換のＤＶＤ−ＲＯＭを読み出すように動作可能である。更に、リーダ１０４０は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション３デバイスと互換のＢＤ−ＲＯＭを読み出すように動作可能である。]
    [0047] システムユニット１０００は、Reality Synthesizerグラフィックユニット１０３０を介して、プレイステーション３デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ１０４４および１つ以上のスピーカ１０４６を備えた表示および音声出力装置１０４２（モニタまたはテレビ受像機など）に提供するように動作可能である。音声コネクタ１０５０は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ１０５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、および１つ以上の高品位マルチメディアインタフェース（ＨＤＭＩ）の出力などを種々備えうる。したがって、ビデオ出力は、ＰＡＬまたはＮＴＳＣ、あるいは７２０ｐ、１０８０ｉまたは１０８０ｐの高解像度などのフォーマットであってもよい。]
    [0048] 音声処理（生成、デコードなど）はCellプロセッサ１０２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、およびブルーレイディスクからの７．１サラウンドサウンドのデコードに対応している。]
    [0049] 本実施形態では、ビデオカメラ１０１２は、１つの電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット１０００によるデコードのために、イントラ画像ベースのＭＰＥＧ（motion picture expert group）標準などの適切なフォーマットで送信されるようになる。カメラのＬＥＤインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット１０００から受け取ると、発光するように配置されている。ビデオカメラ１０１２の実施形態は、ＵＳＢ、ブルートゥースまたはＷｉ−Ｆｉの通信ポートを介して、システムユニット１０００にさまざまな方法で接続しうる。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。]
    [0050] 一般に、システムユニット１０００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。]
    [0051] 実施形態には、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャが含まれてもよい。オブジェクトは、人物が保持しているオブジェクトであっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との用語は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との用語は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。]
    [0052] 三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、第３の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。]
    [0053] 更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。]
    [0054] また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、１つの場所（ＣＰＵなど）や２つの場所（ＣＰＵと他の１つの素子など）で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のＣＰＵ、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および／またはソフトウェアに限定されない。また、本明細書に記載した実施形態は、一般的なハードウェア回路および／またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。]
    [0055] 上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。]
    [0056] 上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。]
    [0057] また、本発明は、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、電磁搬送波（electromagnetic wave carrier:EWC）を含め、コンピュータシステムによって後から読み取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。]
    [0058] 上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。]
    权利要求:

    請求項1
    コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法であって、（ａ）前記三次元オブジェクトの深度データをキャプチャするステップと、（ｂ）前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記キャプチャした前記三次元オブジェクトの深度データを処理するステップと、（ｃ）前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義するステップと、（ｄ）前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる前記特定のアクションと、前記特定のアクションを認識したときに前記コンピュータシステムによって実行する特定のアクション間の相関とを、認識オブジェクトデータベースに保存するステップと、を有するコンピュータによって実施する方法。
    請求項2
    （ｅ）前記コンピュータシステムによって処理されるインタラクティブなセッションを始動させるステップを更に有し、前記インタラクティブなセッションは、（ｉ）深度データをキャプチャし、前記深度データを、前記認識オブジェクトデータベースに記憶されている前記幾何学的定義パラメータと比較して分析するステップと、（ｉｉ）前記インタラクティブなセッション中に、前記三次元オブジェクトを使用してアクションが実行されると、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクションの間の前記相関によって定義されるアクションの始動をトリガするステップと、を有する請求項１に記載のコンピュータによって実施する方法。
    請求項3
    前記コンピュータシステムが、前記深度データを処理して、前記三次元オブジェクトの前記幾何学的パラメータを生成できるようになる複数の角度から、前記三次元オブジェクトの深度データがキャプチャされる請求項１に記載のコンピュータによって実施する方法。
    請求項4
    前記相関は、前記三次元オブジェクトを使用して行われる特定のアクションを、前記コンピュータシステムが実行する事前定義された特定のアクションに割り当てることによって定義される請求項１に記載のコンピュータによって実施する方法。
    請求項5
    事前定義された特定のアクションを求めるプロンプトに応えて、前記ユーザに、前記三次元オブジェクトをインタラクティブに動かさせることによって前記相関を定義するステップを有する請求項１に記載のコンピュータによって実施する方法。
    請求項6
    新しい三次元オブジェクトの定義時に、基本的な動きが同じ効果を奏するようなリモート制御用のマクロ相関を作成するステップを有する請求項１に記載のコンピュータによって実施する方法。
    請求項7
    それぞれに制御がカスタマイズされている複数の三次元オブジェクトを前記認識オブジェクトデータベースに保存し、前記オブジェクトをリアルタイムで切り替えるステップを有する請求項１に記載のコンピュータによって実施する方法。
    請求項8
    前記三次元オブジェクトを使用して行われる前記アクションは、前記オブジェクトを動かす、前記オブジェクトを回す、前記オブジェクトを振る、前記オブジェクトをタップする、前記オブジェクトを揺する、前記オブジェクトで指し示す、あるいはこれらの組み合わせを含む請求項２に記載のコンピュータによって実施する方法。
    請求項9
    コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法であって、（ａ）前記三次元オブジェクトを識別するステップであって、前記識別するステップは、（ｉ）前記三次元オブジェクトの深度データをキャプチャするステップと、（ｉｉ）前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記キャプチャした前記三次元オブジェクトの深度データを処理するステップと、（ｉｉｉ）前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義するステップと、（ｉｖ）前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる特定のアクションと、前記コンピュータシステムによって実行する特定のアクション間の相関とを、認識オブジェクトデータベースに保存するステップと、を有する識別するステップと、（ｂ）カメラに前記三次元オブジェクトを提示するステップと、（ｃ）前記コンピュータシステムが実行する前記特定のアクションの１つ以上をトリガするように、前記カメラの前で前記提示した三次元オブジェクトを動かすステップと、を有する方法。
    請求項10
    （ｄ）前記コンピュータシステムによって処理されるインタラクティブなセッションを始動させるステップと、を有し、前記インタラクティブなセッションは、前記インタラクティブなセッション中の特定の時点で（ｂ）〜（ｃ）の処理を有する請求項９に記載のコンピュータによって実施する方法。
    請求項11
    前記（ｄ）のインタラクティブなセッション中に前記方法は、（ｉ）前記カメラを使用して深度データをキャプチャし、前記深度データを、前記認識オブジェクトデータベースに記憶されている前記幾何学的定義パラメータと比較して分析するステップと、（ｉｉ）前記インタラクティブなセッション中に、前記三次元オブジェクトを使用してアクションが実行されると、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクションの間の前記相関によって定義されるアクションの始動をトリガするステップと、を有する請求項１０に記載のコンピュータによって実施する方法。
    請求項12
    前記コンピュータシステムが、前記深度データを処理して、前記三次元オブジェクトの前記幾何学的パラメータを生成できるようになる複数の角度から、１台のカメラである前記カメラによって前記三次元オブジェクトの深度データがキャプチャされる請求項９に記載のコンピュータによって実施する方法。
    請求項13
    前記相関は、前記三次元オブジェクトを使用して行われる特定のアクションを、前記コンピュータシステムが実行する事前定義された特定のアクションに割り当てることによって定義される請求項９に記載のコンピュータによって実施する方法。
    請求項14
    事前定義された特定のアクションを求めるプロンプトに応えて、前記ユーザに、前記三次元オブジェクトをインタラクティブに動かさせることによって前記相関を定義するステップを有する請求項９に記載のコンピュータによって実施する方法。
    請求項15
    新しい三次元オブジェクトの定義時に、基本的な動きが同じ効果を奏するようなリモート制御用のマクロ相関を作成するステップを有する請求項９に記載のコンピュータによって実施する方法。
    請求項16
    それぞれに制御がカスタマイズされている複数の三次元オブジェクトを前記認識オブジェクトデータベースに保存し、前記オブジェクトをリアルタイムで切り替えるステップを有する請求項９に記載のコンピュータによって実施する方法。
    請求項17
    前記三次元オブジェクトを使用して行われる前記アクションは、前記オブジェクトを動かす、前記オブジェクトを回す、前記オブジェクトを振る、前記オブジェクトをタップする、前記オブジェクトを揺する、前記オブジェクトで指し示す、あるいはこれらの組み合わせを含む請求項１に記載のコンピュータによって実施する方法。
    請求項18
    コンピュータシステムとのインタフェース時に、三次元オブジェクトを制御デバイスとして使用するためのシステムであって、三次元空間からデータをキャプチャするように構成されたカメラと、前記カメラとインタフェースしている前記コンピュータシステムと、前記コンピュータシステムにリンクされているストレージと、前記コンピュータシステムに結合されたディスプレイとを、有し、前記ディスプレイは、オブジェクトの幾何学的パラメータを取得して、前記オブジェクトがインタラクティブなセッション中に前記カメラの前で動かされたときに、前記オブジェクトを使用して行われるアクションを割り当てるためのキャプチャセッションの始動が可能となるように、複数のグラフィカルなディスプレイ画面を表示するように構成され、前記インタラクティブなセッション中に、前記幾何学的パラメータと前記割り当てられたアクションとが、前記ストレージ内のアクセス用のデータベースに保存され、前記割り当てられたアクションが、ユーザが前記カメラの前で前記オブジェクトを持って行った特定の動きに対して前記ユーザによってカスタム定義される、三次元オブジェクトを制御デバイスとして使用するためのシステム。
    請求項19
    前記ストレージは前記コンピュータシステムにローカルである、請求項１８に記載の三次元オブジェクトを制御デバイスとして使用するためのシステム。
    請求項20
    前記ストレージ内の前記データベースは、複数の事前定義済みのオブジェクトと割り当てられたアクションとを含む、請求項１８に記載の三次元オブジェクトを制御デバイスとして使用するためのシステム。
    請求項21
    前記コンピュータシステムに提供されたネットワーク接続を更に有し、前記ネットワーク接続はリモートストレージへのアクセスを可能にし、前記リモートストレージは複数の事前定義済みのオブジェクトと割り当てられたアクションとのデータベースを有する、請求項１８に記載の三次元オブジェクトを制御デバイスとして使用するためのシステム。
    請求項22
    前記コンピュータシステムは、ゲームプログラム、アプリケーション、サーチエンジン、通信プログラム、またはこれらの組み合わせの１つを実行する、請求項１８に記載の三次元オブジェクトを制御デバイスとして使用するためのシステム。
    类似技术:
    公开号 | 公开日 | 专利标题
    US9789391B2|2017-10-17|Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
    US9889384B2|2018-02-13|Controller device and controller system
    US10722797B2|2020-07-28|Head mounted displays | with front facing cameras for transitioning between non-transparent modes and transparent modes
    US20180188534A1|2018-07-05|Image Rendering Responsive To User Actions In Head Mounted Display
    US10315105B2|2019-06-11|Multi-image interactive gaming device
    JP2018029968A|2018-03-01|ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
    JP6550158B2|2019-07-24|System and method for reducing the number of hops associated with a head mount system
    JP6545744B2|2019-07-17|頭部装着ディスプレイにおけるオペレーション・モード・スイッチング
    US9891741B2|2018-02-13|Controller for interfacing with an interactive application
    EP3307407B1|2020-09-09|Expanded field of view re-rendering for vr spectating
    RU2639118C2|2017-12-19|Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы
    JP6208151B2|2017-10-04|拡張現実のためのブックオブジェクト
    US8979650B2|2015-03-17|Game apparatus, recording medium having game program recorded thereon, and game system
    US10532290B2|2020-01-14|Sharing recorded gameplay to a social graph
    US10188945B2|2019-01-29|Generation of gameplay video based on social network sharing
    CN103143167B|2018-06-01|游戏控制器
    US10226699B2|2019-03-12|Computer-readable storage medium having game program stored therein, and game apparatus
    EP2392391B1|2017-06-28|Display device, game system, and game processing method
    US10773164B2|2020-09-15|Device for interfacing with a computing program using a projected pattern
    US9465436B2|2016-10-11|System and method of image reconstruction
    US8057290B2|2011-11-15|Dance ring video game
    CN104162274B|2018-09-25|利用图像分析和超声波通信对控制器三维定位的确定
    JP4271236B2|2009-06-03|リアルタイムの３次元インタラクティブ環境を提供するシステム及び方法
    US20140362110A1|2014-12-11|Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
    US10300383B2|2019-05-28|Game system, game device, storage medium storing game program, and game process method
    同族专利:
    公开号 | 公开日
    EP2227786A1|2010-09-15|
    US20130296055A1|2013-11-07|
    JP5416714B2|2014-02-12|
    US20170080338A1|2017-03-23|
    US8542907B2|2013-09-24|
    WO2009078993A1|2009-06-25|
    US9511282B2|2016-12-06|
    EP2227786A4|2014-01-08|
    US10195528B2|2019-02-05|
    US20150346948A1|2015-12-03|
    US9101829B2|2015-08-11|
    US20090158220A1|2009-06-18|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    JPH0519957A|1991-07-15|1993-01-29|Nippon Telegr & Teleph Corp <Ntt>|情報の入力方法|
    JP2002358149A|2001-06-01|2002-12-13|Sony Corp|ユーザ入力装置|
    US20060252541A1|2002-07-27|2006-11-09|Sony Computer Entertainment Inc.|Method and system for applying gearing effects to visual tracking|
    JP2004272515A|2003-03-07|2004-09-30|Nippon Telegr & Teleph Corp <Ntt>|インタフェース方法、装置、およびプログラム|
    US20040189720A1|2003-03-25|2004-09-30|Wilson Andrew D.|Architecture for controlling a computer using hand gestures|
    JP2007272839A|2006-03-31|2007-10-18|Nippon Syst Wear Kk|ジェスチャ認識装置、これを用いたオンライン動作システム、ジェスチャ認識方法及びコンピュータ可読媒体|
    WO2007130872A2|2006-05-04|2007-11-15|Sony Computer Entertainment America Inc.|Method and apparatus for use in determining lack of user activity, determining an activity level of a user, and/or adding a new player in relation to a system|WO2014017314A1|2012-07-24|2014-01-30|ソニー株式会社|撮像素子、電子機器、並びに、情報処理装置|US3943277A|1969-02-20|1976-03-09|The United States Of America As Represented By The Secretary Of The Navy|Digital memory area correlation tracker|
    US4313227A|1979-01-29|1982-01-26|Texas Instruments Incorporated|Light energy information transmission system|
    US4263504A|1979-08-01|1981-04-21|Ncr Corporation|High density matrix code|
    US4565999A|1983-04-01|1986-01-21|Prime Computer, Inc.|Light pencil|
    US4558864A|1984-06-13|1985-12-17|Medwedeff Marion C|Handgrip exercising, computer game controller|
    US4843568A|1986-04-11|1989-06-27|Krueger Myron W|Real time perception of and response to the actions of an unencumbered participant/user|
    JPS6347616A|1986-08-15|1988-02-29|Hiroshi Kobayashi|Measurement of moving quantity|
    WO1988005942A1|1987-02-04|1988-08-11|Mayo Foundation For Medical Education And Research|Joystick apparatus having six degrees freedom of motion|
    US4802227A|1987-04-03|1989-01-31|American Telephone And Telegraph Company|Noise reduction processing arrangement for microphone arrays|
    GB2206716A|1987-07-06|1989-01-11|Gen Electric Plc|Apparatus for monitoring the presence or movement of an object|
    US4963858A|1987-09-08|1990-10-16|Chien Fong K|Changeable input ratio mouse|
    IT1219405B|1988-06-27|1990-05-11|Fiat Ricerche|Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia|
    WO1990007162A1|1988-12-20|1990-06-28|Australian Meat And Live-Stock Research And Development Corporation|An optically readable coded target|
    US5034986A|1989-03-01|1991-07-23|Siemens Aktiengesellschaft|Method for detecting and tracking moving objects in a digital image sequence having a stationary background|
    US5055840A|1990-01-16|1991-10-08|Carroll Touch Incorporated|Infrared touch input device and light emitted activation circuit|
    US5440326A|1990-03-21|1995-08-08|Gyration, Inc.|Gyroscopic pointer|
    WO1991017522A1|1990-05-01|1991-11-14|Wang Laboratories, Inc.|Hands-free hardware keyboard|
    US5111401A|1990-05-19|1992-05-05|The United States Of America As Represented By The Secretary Of The Navy|Navigational control system for an autonomous vehicle|
    US5662111A|1991-01-28|1997-09-02|Cosman; Eric R.|Process of stereotactic optical navigation|
    US5485273A|1991-04-22|1996-01-16|Litton Systems, Inc.|Ring laser gyroscope enhanced resolution system|
    US5534917A|1991-05-09|1996-07-09|Very Vivid, Inc.|Video image based control system|
    US5144594A|1991-05-29|1992-09-01|Cyber Scientific|Acoustic mouse system|
    US5455685A|1991-09-04|1995-10-03|Fuji Photo Film Co., Ltd.|Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed|
    US5889670A|1991-10-24|1999-03-30|Immersion Corporation|Method and apparatus for tactilely responsive user interface|
    US5444462A|1991-12-16|1995-08-22|Wambach; Mark L.|Computer mouse glove with remote communication|
    US6772057B2|1995-06-07|2004-08-03|Automotive Technologies International, Inc.|Vehicular monitoring systems using image processing|
    US5453758A|1992-07-31|1995-09-26|Sony Corporation|Input apparatus|
    US5790834A|1992-08-31|1998-08-04|Intel Corporation|Apparatus and method using an ID instruction to identify a computer microprocessor|
    JP3244798B2|1992-09-08|2002-01-07|株式会社東芝|動画像処理装置|
    US7098891B1|1992-09-18|2006-08-29|Pryor Timothy R|Method for providing human input to a computer|
    US5394168A|1993-01-06|1995-02-28|Smith Engineering|Dual-mode hand-held game controller|
    US5335011A|1993-01-12|1994-08-02|Bell Communications Research, Inc.|Sound localization system for teleconferencing using self-steering microphone arrays|
    JP3679426B2|1993-03-15|2005-08-03|マサチューセッツ・インスティチュート・オブ・テクノロジーＭａｓｓａｃｈｕｓｅｔｔｓＩｎｓｔｉｔｕｔｅＯｆＴｅｃｈｎｏｌｏｇｙ|画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム|
    JPH06303333A|1993-04-13|1994-10-28|Ricoh Co Ltd|ファクシミリ装置|
    US5677710A|1993-05-10|1997-10-14|Apple Computer, Inc.|Recognition keypad|
    US5297061A|1993-05-19|1994-03-22|University Of Maryland|Three dimensional pointing device monitored by computer vision|
    US5959596A|1993-06-24|1999-09-28|Nintendo Co., Ltd.|Airline-based video game and communications system|
    US5581270A|1993-06-24|1996-12-03|Nintendo Of America, Inc.|Hotel-based video game and communication system|
    US5815411A|1993-09-10|1998-09-29|Criticom Corporation|Electro-optic vision system which exploits position and attitude|
    US5473701A|1993-11-05|1995-12-05|At&T Corp.|Adaptive microphone array|
    US6311214B1|1995-07-27|2001-10-30|Digimarc Corporation|Linking of computers based on optical sensing of digital data|
    JP2552427B2|1993-12-28|1996-11-13|コナミ株式会社|テレビ遊戯システム|
    FR2714502A1|1993-12-29|1995-06-30|Philips Laboratoire Electroniq|Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.|
    US5900863A|1995-03-16|1999-05-04|Kabushiki Kaisha Toshiba|Method and apparatus for controlling computer without touching input device|
    JPH086708A|1994-04-22|1996-01-12|Canon Inc|表示装置|
    US5543818A|1994-05-13|1996-08-06|Sony Corporation|Method and apparatus for entering text using an input device having a small number of keys|
    US5846086A|1994-07-01|1998-12-08|Massachusetts Institute Of Technology|System for human trajectory learning in virtual environments|
    US5563988A|1994-08-01|1996-10-08|Massachusetts Institute Of Technology|Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment|
    US5641319A|1994-08-10|1997-06-24|Lodgenet Entertainment Corporation|Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer|
    GB2301514B|1994-12-01|1999-06-09|Namco Ltd|Apparatus and method for image synthesization|
    JP3270643B2|1994-12-22|2002-04-02|キヤノン株式会社|指示位置検出方法及び装置|
    US5929444A|1995-01-31|1999-07-27|Hewlett-Packard Company|Aiming device using radiated energy|
    US5568928A|1995-02-01|1996-10-29|Exertron, Inc.|Video game controller for use with an exercise apparatus|
    US5638228A|1995-02-14|1997-06-10|Iomega Corporation|Retroreflective marker for data storage cartridge|
    US5930741A|1995-02-28|1999-07-27|Virtual Technologies, Inc.|Accurate, rapid, reliable position sensing using multiple sensing technologies|
    US5583478A|1995-03-01|1996-12-10|Renzi; Ronald|Virtual environment tactile system|
    KR19990008158A|1995-04-28|1999-01-25|모리시타요우이치|인터페이스 장치|
    US5706364A|1995-04-28|1998-01-06|Xerox Corporation|Method of producing character templates using unsegmented samples|
    US5913727A|1995-06-02|1999-06-22|Ahdoot; Ned|Interactive movement and contact simulation game|
    US5649021A|1995-06-07|1997-07-15|David Sarnoff Research Center, Inc.|Method and system for object detection for instrument control|
    CN1253636A|1995-06-22|2000-05-17|3Dv系统有限公司|远心光阑3维照相机及方法|
    IL114278A|1995-06-22|2010-06-16|Microsoft Internat Holdings B|Camera and method|
    AT191282T|1995-07-26|2000-04-15|Tegic Communications Inc|System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur|
    US7164413B2|1999-05-19|2007-01-16|Digimarc Corporation|Enhanced input peripheral|
    US5611731A|1995-09-08|1997-03-18|Thrustmaster, Inc.|Video pinball machine controller having an optical accelerometer for detecting slide and tilt|
    US5768415A|1995-09-08|1998-06-16|Lucent Technologies Inc.|Apparatus and methods for performing electronic scene analysis and enhancement|
    US5850222A|1995-09-13|1998-12-15|Pixel Dust, Inc.|Method and system for displaying a graphic image of a person modeling a garment|
    US5818424A|1995-10-19|1998-10-06|International Business Machines Corporation|Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space|
    US6281930B1|1995-10-20|2001-08-28|Parkervision, Inc.|System and method for controlling the field of view of a camera|
    US5963250A|1995-10-20|1999-10-05|Parkervision, Inc.|System and method for controlling the field of view of a camera|
    US5719561A|1995-10-25|1998-02-17|Gilbert R. Gonzales|Tactile communication device and method|
    US6282362B1|1995-11-07|2001-08-28|Trimble Navigation Limited|Geographical position/image digital recording and display system|
    US5870100A|1995-11-22|1999-02-09|Compaq Computer Corporation|Filling of graphical regions|
    EP0864145A4|1995-11-30|1998-12-16|Virtual Technologies Inc|Tactile feedback man-machine interface device|
    US6049619A|1996-02-12|2000-04-11|Sarnoff Corporation|Method and apparatus for detecting moving objects in two-and three-dimensional scenes|
    RU2069885C1|1996-03-01|1996-11-27|Йелстаун Корпорейшн Н.В.|Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления|
    JPH09244793A|1996-03-04|1997-09-19|Alps Electric Co Ltd|入力装置|
    CN100352532C|1996-03-05|2007-12-05|世嘉企业股份有限公司|操作输入装置和电子装置|
    JP3920348B2|1996-04-02|2007-05-30|コグネックスコーポレイション|平坦な鏡面基板の指標を観察する画像形成装置|
    US5937081A|1996-04-10|1999-08-10|O'brill; Michael R.|Image composition system and method of using same|
    US5923318A|1996-04-12|1999-07-13|Zhai; Shumin|Finger manipulatable 6 degree-of-freedom input device|
    US5917493A|1996-04-17|1999-06-29|Hewlett-Packard Company|Method and apparatus for randomly generating information for subsequent correlating|
    US5881366A|1996-05-01|1999-03-09|Logitech, Inc.|Wireless peripheral interface|
    US6516466B1|1996-05-02|2003-02-04|Vincent C. Jackson|Method and apparatus for portable digital entertainment system|
    US6151009A|1996-08-21|2000-11-21|Carnegie Mellon University|Method and apparatus for merging real and synthetic images|
    US6400374B2|1996-09-18|2002-06-04|Eyematic Interfaces, Inc.|Video superposition system and method|
    US5930383A|1996-09-24|1999-07-27|Netzer; Yishay|Depth sensing camera systems and methods|
    US5832931A|1996-10-30|1998-11-10|Photogen, Inc.|Method for improved selectivity in photo-activation and detection of molecular diagnostic agents|
    NL1004648C2|1996-11-11|1998-05-14|Johan Michiel Schaaij|Computerspelsysteem.|
    US5914723A|1996-12-30|1999-06-22|Sun Microsystems, Inc.|Method and system for converting images in computer systems|
    US6243491B1|1996-12-31|2001-06-05|Lucent Technologies Inc.|Methods and apparatus for controlling a video system with visually recognized props|
    US5850473A|1997-01-07|1998-12-15|Lucent Technologies Inc.|Method and apparatus for compensating for color variation in a video system|
    US6021219A|1997-01-07|2000-02-01|Lucent Technologies Inc.|Methods and apparatus for distinguishing among several visual patterns|
    US5796354A|1997-02-07|1998-08-18|Reality Quest Corp.|Hand-attachable controller with direction sensing|
    US5993314A|1997-02-10|1999-11-30|Stadium Games, Ltd.|Method and apparatus for interactive audience participation by audio command|
    US6009210A|1997-03-05|1999-12-28|Digital Equipment Corporation|Hands-free interface to a virtual reality environment using head tracking|
    US6327073B1|1997-03-07|2001-12-04|3Dv Systems, Ltd.|Opto-electronic shutter|
    US6061055A|1997-03-21|2000-05-09|Autodesk, Inc.|Method of tracking objects with an imaging device|
    US6144367A|1997-03-26|2000-11-07|International Business Machines Corporation|Method and system for simultaneous operation of multiple handheld control devices in a data processing system|
    US6587573B1|2000-03-20|2003-07-01|Gentex Corporation|System for controlling exterior vehicle lights|
    US8120652B2|1997-04-02|2012-02-21|Gentex Corporation|System for controlling vehicle equipment|
    JP3009633B2|1997-04-03|2000-02-14|コナミ株式会社|画像装置、画像表示方法および記録媒体|
    US6215898B1|1997-04-15|2001-04-10|Interval Research Corporation|Data processing system and method|
    CN1143528C|1997-04-23|2004-03-24|汤姆森消费电子有限公司|根据所显示信息的区域和内容控制视频电平|
    US6809776B1|1997-04-23|2004-10-26|Thomson Licensing S.A.|Control of video level by region and content of information displayed|
    US6428411B1|1997-05-02|2002-08-06|Konami Co., Ltd.|Volleyball video game system|
    NO304715B1|1997-05-06|1999-02-01|Dimensions As|FremgangsmÕte ved bildebehandling|
    JP3183632B2|1997-06-13|2001-07-09|株式会社ナムコ|情報記憶媒体及び画像生成装置|
    US6075895A|1997-06-20|2000-06-13|Holoplex|Methods and apparatus for gesture recognition based on templates|
    US6094625A|1997-07-03|2000-07-25|Trimble Navigation Limited|Augmented vision for survey work and machine control|
    WO1999006956A1|1997-07-29|1999-02-11|Koninklijke Philips Electronics N.V.|Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system|
    US6044181A|1997-08-01|2000-03-28|Microsoft Corporation|Focal length estimation method and apparatus for construction of panoramic mosaic images|
    US6720949B1|1997-08-22|2004-04-13|Timothy R. Pryor|Man machine interfaces and applications|
    US6297838B1|1997-08-29|2001-10-02|Xerox Corporation|Spinning as a morpheme for a physical manipulatory grammar|
    AU1099899A|1997-10-15|1999-05-03|Electric Planet, Inc.|Method and apparatus for performing a clean background subtraction|
    US6101289A|1997-10-15|2000-08-08|Electric Planet, Inc.|Method and apparatus for unencumbered capture of an object|
    US6031934A|1997-10-15|2000-02-29|Electric Planet, Inc.|Computer vision system for subject characterization|
    WO1999026198A2|1997-11-14|1999-05-27|National University Of Singapore|System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence|
    JPH11154240A|1997-11-20|1999-06-08|Nintendo Co Ltd|取込み画像を用いて画像を作成するための画像作成装置|
    US6166744A|1997-11-26|2000-12-26|Pathfinder Systems, Inc.|System for combining virtual images with real-world scenes|
    US6762794B1|1997-12-03|2004-07-13|Canon Kabushiki Kaisha|Image pick-up apparatus for stereoscope|
    US6677987B1|1997-12-03|2004-01-13|8×8, Inc.|Wireless user-interface arrangement and method|
    US6195104B1|1997-12-23|2001-02-27|Philips Electronics North America Corp.|System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs|
    WO1999035633A2|1998-01-06|1999-07-15|The Video Mouse Group|Human motion following computer mouse and game controller|
    US6160540A|1998-01-12|2000-12-12|Xerox Company|Zoomorphic computer user interface|
    US6134346A|1998-01-16|2000-10-17|Ultimatte Corp|Method for removing from an image the background surrounding a selected object|
    JP4195189B2|1998-02-08|2008-12-10|スリーディーヴィーシステムズリミテッド|大開口光画像シャッタ|
    US6115052A|1998-02-12|2000-09-05|Mitsubishi Electric Information Technology Center America, Inc. |System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence|
    US6175343B1|1998-02-24|2001-01-16|Anivision, Inc.|Method and apparatus for operating the overlay of computer-generated effects onto a live image|
    US6037942A|1998-03-10|2000-03-14|Magellan Dis, Inc.|Navigation system character input device|
    US6411392B1|1998-04-15|2002-06-25|Massachusetts Institute Of Technology|Method and apparatus for data hiding in printed images|
    US6173059B1|1998-04-24|2001-01-09|Gentner Communications Corporation|Teleconferencing system with visual feedback|
    US6593956B1|1998-05-15|2003-07-15|Polycom, Inc.|Locating an audio source|
    US6473516B1|1998-05-22|2002-10-29|Asa Systems, Inc.|Large capacity steganography|
    JP3646969B2|1998-05-25|2005-05-11|富士通株式会社|３次元画像表示装置|
    JP3841132B2|1998-06-01|2006-11-01|株式会社ソニー・コンピュータエンタテインメント|入力位置検出装置及びエンタテインメントシステム|
    FR2780176B1|1998-06-17|2001-01-26|Gabriel Guary|Pistolet de tir pour jeu video|
    US6504535B1|1998-06-30|2003-01-07|Lucent Technologies Inc.|Display techniques for three-dimensional virtual reality|
    JP2000020163A|1998-06-30|2000-01-21|Sony Corp|情報処理装置|
    IL125221D0|1998-07-06|1999-03-12|Toy Control Ltd|Motion activation using passive sound source|
    US7121946B2|1998-08-10|2006-10-17|Cybernet Systems Corporation|Real-time head tracking system for computer games and other applications|
    US20020036617A1|1998-08-21|2002-03-28|Timothy R. Pryor|Novel man machine interfaces and applications|
    US6256398B1|1998-08-22|2001-07-03|Kenneth H. P. Chang|Encoding and decoding a message within an image|
    US6621938B1|1998-09-18|2003-09-16|Fuji Photo Film Co., Ltd.|Image capture apparatus and method|
    US6184863B1|1998-10-13|2001-02-06|The George Washington University|Direct pointing apparatus and method therefor|
    DE19849515C1|1998-10-19|2000-12-28|Gerhard Wergen|Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens|
    US6307568B1|1998-10-28|2001-10-23|Imaginarix Ltd.|Virtual dressing over the internet|
    US6409602B1|1998-11-06|2002-06-25|New Millenium Gaming Limited|Slim terminal gaming system|
    JP2000172431A|1998-12-09|2000-06-23|Sony Corp|情報入力装置及びゲーム装置|
    US6222465B1|1998-12-09|2001-04-24|Lucent Technologies Inc.|Gesture-based computer interface|
    US6533420B1|1999-01-22|2003-03-18|Dimension Technologies, Inc.|Apparatus and method for generating and projecting autostereoscopic images|
    US7139767B1|1999-03-05|2006-11-21|Canon Kabushiki Kaisha|Image processing apparatus and database|
    JP2000261752A|1999-03-05|2000-09-22|Hewlett Packard Co <Hp>|音声付き画像録画再生装置|
    JP2000259856A|1999-03-09|2000-09-22|Nippon Telegr & Teleph Corp <Ntt>|３次元コンピュータグラフィックス表示方法及び装置|
    US6323942B1|1999-04-30|2001-11-27|Canesta, Inc.|CMOS-compatible three-dimensional image sensor IC|
    US6791531B1|1999-06-07|2004-09-14|Dot On, Inc.|Device and method for cursor motion control calibration and object selection|
    JP2000350865A|1999-06-11|2000-12-19|Mr System Kenkyusho:Kk|複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体|
    JP2000350859A|1999-06-11|2000-12-19|Mr System Kenkyusho:Kk|マーカ配置方法及び複合現実感装置|
    JP2000356972A|1999-06-15|2000-12-26|Pioneer Electronic Corp|発光パネルの駆動装置及び方法|
    US6952198B2|1999-07-06|2005-10-04|Hansen Karl C|System and method for communication with enhanced optical pointer|
    US6819318B1|1999-07-23|2004-11-16|Z. Jason Geng|Method and apparatus for modeling via a three-dimensional image mosaic system|
    US6545706B1|1999-07-30|2003-04-08|Electric Planet, Inc.|System, method and article of manufacture for tracking a head of a camera-generated image of a person|
    US6417836B1|1999-08-02|2002-07-09|Lucent Technologies Inc.|Computer input device having six degrees of freedom for controlling movement of a three-dimensional object|
    JP2001056742A|1999-08-19|2001-02-27|Alps Electric Co Ltd|入力装置|
    US6556704B1|1999-08-25|2003-04-29|Eastman Kodak Company|Method for forming a depth image from digital image data|
    DE69922706T2|1999-09-08|2005-12-08|3Dv Systems Ltd.|3d- bilderzeugungssystem|
    WO2001022737A1|1999-09-17|2001-03-29|Nature Technology Co., Ltd.|Systeme de saisie d'images, processeur d'images et camera associee|
    US6441825B1|1999-10-04|2002-08-27|Intel Corporation|Video token tracking system for animation|
    JP3847058B2|1999-10-04|2006-11-15|任天堂株式会社|ゲームシステム及びそれに用いられるゲーム情報記憶媒体|
    US6753849B1|1999-10-27|2004-06-22|Ken Curran & Associates|Universal remote TV mouse|
    WO2001042930A1|1999-12-09|2001-06-14|Zephyr Media, Inc.|System and method for integration of a universally publicly accessible global network|
    JP4403474B2|1999-12-09|2010-01-27|ソニー株式会社|触覚提示機構及びこれを用いた力触覚提示装置|
    US6785329B1|1999-12-21|2004-08-31|Microsoft Corporation|Automatic video object extraction|
    KR100384406B1|2000-01-24|2003-05-22| 베스트소프트|컴퓨터 프로그램 구동조작장치|
    US20010056477A1|2000-02-15|2001-12-27|Mcternan Brennan J.|Method and system for distributing captured motion data over a network|
    AU4328501A|2000-03-02|2001-09-12|Donnelly Corp|Video mirror systems incorporating an accessory module|
    JP2001265275A|2000-03-16|2001-09-28|Olympus Optical Co Ltd|画像表示装置|
    US6676522B2|2000-04-07|2004-01-13|Igt|Gaming system including portable game devices|
    US6924787B2|2000-04-17|2005-08-02|Immersion Corporation|Interface for controlling a graphical image|
    JP2001307134A|2000-04-19|2001-11-02|Sony Corp|三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体|
    WO2001091016A1|2000-05-25|2001-11-29|Realitybuy, Inc.|A real time, three-dimensional, configurable, interactive product display system and method|
    US6970183B1|2000-06-14|2005-11-29|E-Watch, Inc.|Multimedia surveillance and monitoring system including network configuration|
    US20020056114A1|2000-06-16|2002-05-09|Fillebrown Lisa A.|Transmitter for a personal wireless network|
    TW527518B|2000-07-14|2003-04-11|Massachusetts Inst Technology|Method and system for high resolution, ultra fast, 3-D imaging|
    US6795068B1|2000-07-21|2004-09-21|Sony Computer Entertainment Inc.|Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program|
    AUPQ896000A0|2000-07-24|2000-08-17|Seeing Machines Pty Ltd|Facial image processing system|
    US7227526B2|2000-07-24|2007-06-05|Gesturetek, Inc.|Video-based image control system|
    WO2002008849A2|2000-07-24|2002-01-31|Herman Ehrenburg|Computer-compatible, color-coded manual input system|
    US7039253B2|2001-07-24|2006-05-02|Casio Computer Co., Ltd.|Image display device, image display method, program, and projection system|
    US20020094189A1|2000-07-26|2002-07-18|Nassir Navab|Method and system for E-commerce video editing|
    JP3561463B2|2000-08-11|2004-09-02|コナミ株式会社|３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置|
    JP4815661B2|2000-08-24|2011-11-16|ソニー株式会社|信号処理装置及び信号処理方法|
    US7071914B1|2000-09-01|2006-07-04|Sony Computer Entertainment Inc.|User input device and method for interaction with graphic images|
    WO2002061707A2|2000-09-08|2002-08-08|Honeywell International Inc.|Pilot internet practice system and methods|
    US6884171B2|2000-09-18|2005-04-26|Nintendo Co., Ltd.|Video game distribution network|
    US6748281B2|2000-09-29|2004-06-08|Gunilla Alsio|Wearable data input interface|
    FR2814965A1|2000-10-11|2002-04-12|Janick Simeray|Ordinateur et jouets cooperants|
    US7061507B1|2000-11-12|2006-06-13|Bitboys, Inc.|Antialiasing method and apparatus for video applications|
    JP2002157607A|2000-11-17|2002-05-31|Canon Inc|画像生成システム、画像生成方法および記憶媒体|
    AU2695602A|2000-11-22|2002-06-03|Leap Wireless Int Inc|Method and system for providing interactive services over a wireless communications network|
    KR100385563B1|2000-12-01|2003-05-27|한국과학기술원|구동수단을 갖는 분광 광도계와 광도 측정방법|
    US20040070565A1|2001-12-05|2004-04-15|Nayar Shree K|Method and apparatus for displaying images|
    US6751338B1|2000-12-15|2004-06-15|Cognex Corporation|System and method of using range image data with machine vision tools|
    US20020085097A1|2000-12-22|2002-07-04|Colmenarez Antonio J.|Computer vision-based wireless pointing system|
    EP1371019A2|2001-01-26|2003-12-17|Zaxel Systems, Inc.|Real-time virtual viewpoint in simulated reality environment|
    DE10103922A1|2001-01-30|2002-08-01|Physoptics Opto Electronic Gmb|Interaktives Datensicht- und Bediensystem|
    US6741741B2|2001-02-01|2004-05-25|Xerox Corporation|System and method for automatically detecting edges of scanned documents|
    US6789967B1|2001-02-02|2004-09-14|George Forester|Distal chording keyboard|
    US20020134151A1|2001-02-05|2002-09-26|Matsushita Electric Industrial Co., Ltd.|Apparatus and method for measuring distances|
    US6746124B2|2001-02-06|2004-06-08|Robert E. Fischer|Flashlight producing uniform high brightness|
    US7116330B2|2001-02-28|2006-10-03|Intel Corporation|Approximating motion using a three-dimensional model|
    US6931596B2|2001-03-05|2005-08-16|Koninklijke Philips Electronics N.V.|Automatic positioning of display depending upon the viewer's location|
    GB2376397A|2001-06-04|2002-12-11|Hewlett Packard Co|Virtual or augmented reality|
    JP2002369969A|2001-06-15|2002-12-24|Sun Corp|通信ゲーム用プログラム、アダプタおよびゲーム端末|
    JP2003018604A|2001-07-04|2003-01-17|Matsushita Electric Ind Co Ltd|画像信号符号化方法、画像信号符号化装置および記録媒体|
    US20030014212A1|2001-07-12|2003-01-16|Ralston Stuart E.|Augmented vision system using wireless communications|
    JP3611807B2|2001-07-19|2005-01-19|コナミ株式会社|ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム|
    KR20030009919A|2001-07-24|2003-02-05|삼성전자주식회사|관성 센서를 구비하는 컴퓨터 게임용 입력 장치|
    US7148922B2|2001-08-02|2006-12-12|Olympus Optical Co., Ltd.|Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence|
    JP3442754B2|2001-08-10|2003-09-02|株式会社コナミコンピュータエンタテインメント東京|ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム|
    US6709108B2|2001-08-31|2004-03-23|Adaptive Optics Associates, Inc.|Ophthalmic instrument with adaptive optic subsystem that measures aberrations of a human eye and that provides a view of compensation of such aberrations to the human eye|
    KR100846761B1|2001-09-11|2008-07-16|삼성전자주식회사|포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치|
    JP2003114640A|2001-10-04|2003-04-18|Nec Corp|プラズマディスプレイパネル及びその駆動方法|
    JP4028708B2|2001-10-19|2007-12-26|株式会社コナミデジタルエンタテインメント|ゲーム装置及びゲームシステム|
    US20030093591A1|2001-11-09|2003-05-15|David Hohl|System and method for fast data transfer to display driver|
    FR2832892B1|2001-11-27|2004-04-02|Thomson Licensing Sa|Camera video d'effets speciaux|
    US20030100363A1|2001-11-28|2003-05-29|Ali Guiseppe C.|Method and apparatus for inputting appearance of computer operator into a computer program|
    KR20030048570A|2001-12-12|2003-06-25|한국전자통신연구원|부가적 버튼을 장착한 키패드 및 그의 작동방법|
    US7305114B2|2001-12-26|2007-12-04|Cognex Technology And Investment Corporation|Human/machine interface for a machine vision sensor and method for installing and operating the same|
    US7436887B2|2002-02-06|2008-10-14|Playtex Products, Inc.|Method and apparatus for video frame sequence-based object tracking|
    US6990639B2|2002-02-07|2006-01-24|Microsoft Corporation|System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration|
    US7340077B2|2002-02-15|2008-03-04|Canesta, Inc.|Gesture recognition system using depth perceptive sensors|
    US20030160862A1|2002-02-27|2003-08-28|Charlier Michael L.|Apparatus having cooperating wide-angle digital camera system and microphone array|
    KR20030075399A|2002-03-18|2003-09-26|주식회사 소프트로닉스|모션마우스 시스템 및 방법|
    GB2388418A|2002-03-28|2003-11-12|Marcus James Eales|Input or pointing device with a camera|
    US6847311B2|2002-03-28|2005-01-25|Motorola Inc.|Method and apparatus for character entry in a wireless communication device|
    US7006009B2|2002-04-01|2006-02-28|Key Energy Services, Inc.|Servicing system for wells|
    US20030199324A1|2002-04-23|2003-10-23|Xiaoling Wang|Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light|
    JP2004021345A|2002-06-12|2004-01-22|Toshiba Corp|画像処理装置及びその方法|
    US20030232649A1|2002-06-18|2003-12-18|Gizis Alexander C.M.|Gaming system and method|
    US20040001082A1|2002-06-26|2004-01-01|Amir Said|System and method of interaction with a computer controlled image display system using a projected light source|
    JP5109221B2|2002-06-27|2012-12-26|新世代株式会社|ストロボスコープを使った入力システムを備える情報処理装置|
    CA2390072C|2002-06-28|2018-02-27|Adrian Gh Podoleanu|Optical mapping apparatus with adjustable depth resolution and multiple functionality|
    US7227976B1|2002-07-08|2007-06-05|Videomining Corporation|Method and system for real-time facial image enhancement|
    US20040017355A1|2002-07-24|2004-01-29|Youngtack Shim|Cursor control systems and methods|
    US10086282B2|2002-07-27|2018-10-02|Sony Interactive Entertainment Inc.|Tracking device for use in obtaining information for controlling game program execution|
    US7850526B2|2002-07-27|2010-12-14|Sony Computer Entertainment America Inc.|System for tracking user manipulations within an environment|
    US7760248B2|2002-07-27|2010-07-20|Sony Computer Entertainment Inc.|Selective sound source listening in conjunction with computer interactive processing|
    US7102615B2|2002-07-27|2006-09-05|Sony Computer Entertainment Inc.|Man-machine interface using a deformable device|
    US8073157B2|2003-08-27|2011-12-06|Sony Computer Entertainment Inc.|Methods and apparatus for targeted sound detection and characterization|
    US7918733B2|2002-07-27|2011-04-05|Sony Computer Entertainment America Inc.|Multi-input game control mixer|
    US8686939B2|2002-07-27|2014-04-01|Sony Computer Entertainment Inc.|System, method, and apparatus for three-dimensional input control|
    US20070015559A1|2002-07-27|2007-01-18|Sony Computer Entertainment America Inc.|Method and apparatus for use in determining lack of user activity in relation to a system|
    US20060282873A1|2002-07-27|2006-12-14|Sony Computer Entertainment Inc.|Hand-held controller having detectable elements for tracking purposes|
    US8797260B2|2002-07-27|2014-08-05|Sony Computer Entertainment Inc.|Inertially trackable hand-held controller|
    US7854655B2|2002-07-27|2010-12-21|Sony Computer Entertainment America Inc.|Obtaining input for controlling execution of a game program|
    US7874917B2|2003-09-15|2011-01-25|Sony Computer Entertainment Inc.|Methods and systems for enabling depth and direction detection when interfacing with a computer program|
    US7783061B2|2003-08-27|2010-08-24|Sony Computer Entertainment Inc.|Methods and apparatus for the targeted sound detection|
    US8313380B2|2002-07-27|2012-11-20|Sony Computer Entertainment America Llc|Scheme for translating movements of a hand-held controller into inputs for a system|
    US7803050B2|2002-07-27|2010-09-28|Sony Computer Entertainment Inc.|Tracking device with sound emitter for use in obtaining information for controlling game program execution|
    US20060264260A1|2002-07-27|2006-11-23|Sony Computer Entertainment Inc.|Detectable and trackable hand-held controller|
    US7623115B2|2002-07-27|2009-11-24|Sony Computer Entertainment Inc.|Method and apparatus for light input device|
    US7391409B2|2002-07-27|2008-06-24|Sony Computer Entertainment America Inc.|Method and system for applying gearing effects to multi-channel mixed input|
    US7627139B2|2002-07-27|2009-12-01|Sony Computer Entertainment Inc.|Computer image and audio processing of intensity and input devices for interfacing with a computer program|
    US7646372B2|2003-09-15|2010-01-12|Sony Computer Entertainment Inc.|Methods and systems for enabling direction detection when interfacing with a computer program|
    US9393487B2|2002-07-27|2016-07-19|Sony Interactive Entertainment Inc.|Method for mapping movements of a hand-held controller to game commands|
    US7352359B2|2002-07-27|2008-04-01|Sony Computer Entertainment America Inc.|Method and system for applying gearing effects to inertial tracking|
    US7039199B2|2002-08-26|2006-05-02|Microsoft Corporation|System and process for locating a speaker using 360 degree sound source localization|
    US6917688B2|2002-09-11|2005-07-12|Nanyang Technological University|Adaptive noise cancelling microphone system|
    US20040063480A1|2002-09-30|2004-04-01|Xiaoling Wang|Apparatus and a method for more realistic interactive video games on computers or similar devices|
    EP1411461A1|2002-10-14|2004-04-21|STMicroelectronics Asia Pacific Pte Ltd.|User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection|
    US6995666B1|2002-10-16|2006-02-07|Luttrell Clyde K|Cellemetry-operated railroad switch heater|
    JP2004145448A|2002-10-22|2004-05-20|Toshiba Corp|端末装置、サーバ装置および画像加工方法|
    JP2006504504A|2002-10-30|2006-02-09|ナイキ・インコーポレーテッドＮｉｋｅＩｎｃ|対話型活動装置で使用する標的|
    US8206219B2|2002-10-30|2012-06-26|Nike, Inc.|Interactive gaming apparel for interactive gaming|
    US20050037844A1|2002-10-30|2005-02-17|Nike, Inc.|Sigils for use with apparel|
    US20040095327A1|2002-11-14|2004-05-20|Lo Fook Loong|Alphanumeric data input system and method|
    US8012025B2|2002-12-13|2011-09-06|Applied Minds, Llc|Video game controller hub with control input reduction and combination schemes|
    US7212308B2|2002-12-18|2007-05-01|Morgan Carol L|Interactive photo kiosk|
    US20040140955A1|2003-01-21|2004-07-22|Metz Kristofer Erik|Input device for a computer and method of operation|
    JP2004261236A|2003-02-20|2004-09-24|Konami Co Ltd|ゲームシステム|
    GB2398691B|2003-02-21|2006-05-31|Sony Comp Entertainment Europe|Control of data processing|
    GB2398690B|2003-02-21|2006-05-10|Sony Comp Entertainment Europe|Control of data processing|
    JP3849654B2|2003-02-21|2006-11-22|株式会社日立製作所|投射型表示装置|
    US7519186B2|2003-04-25|2009-04-14|Microsoft Corporation|Noise reduction systems and methods for voice applications|
    US7379559B2|2003-05-28|2008-05-27|Trw Automotive U.S. Llc|Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system|
    US6881147B2|2003-06-06|2005-04-19|Nyko Technologies, Inc.|Video game controller with integrated microphone and speaker|
    TW571812U|2003-06-11|2004-01-11|Vision Electronics Co Ltd|Audio device for TV game machine|
    DE60308342T2|2003-06-17|2007-09-06|Sony Ericsson Mobile Communications Ab|Verfahren und Vorrichtung zur Sprachaktivitätsdetektion|
    SG115546A1|2003-06-23|2005-10-28|Affineon Technologies Pte Ltd|Computer input device tracking six degrees of freedom|
    US7116342B2|2003-07-03|2006-10-03|Sportsmedia Technology Corporation|System and method for inserting content into an image sequence|
    JP2005046422A|2003-07-30|2005-02-24|Samii Kk|ゲーム機用コントローラ|
    US7613310B2|2003-08-27|2009-11-03|Sony Computer Entertainment Inc.|Audio input system|
    US8160269B2|2003-08-27|2012-04-17|Sony Computer Entertainment Inc.|Methods and apparatuses for adjusting a listening area for capturing sounds|
    US8233642B2|2003-08-27|2012-07-31|Sony Computer Entertainment Inc.|Methods and apparatuses for capturing an audio signal based on a location of the signal|
    US8139793B2|2003-08-27|2012-03-20|Sony Computer Entertainment Inc.|Methods and apparatus for capturing audio signals based on a visual image|
    US7489299B2|2003-10-23|2009-02-10|Hillcrest Laboratories, Inc.|User interface devices and methods employing accelerometers|
    CA2544183A1|2003-10-28|2005-05-19|Welch Allyn, Inc.|Digital documenting ophthalmoscope|
    US20050105777A1|2003-11-18|2005-05-19|Kozlowski William J.Jr.|Personalized multimedia summary|
    US7734729B2|2003-12-31|2010-06-08|Amazon Technologies, Inc.|System and method for obtaining information relating to an item of commerce using a portable imaging device|
    US7180500B2|2004-03-23|2007-02-20|Fujitsu Limited|User definable gestures for motion controlled handheld devices|
    US7970147B2|2004-04-07|2011-06-28|Sony Computer Entertainment Inc.|Video game controller with noise canceling logic|
    ES2384572T3|2004-04-30|2012-07-09|Hillcrest Laboratories, Inc.|Dispositivos apuntadores en el espacio libre con compensación de inclinación y usabilidad mejorada|
    TWI376520B|2004-04-30|2012-11-11|Hillcrest Lab Inc|Free space pointing devices and methods|
    US7296007B1|2004-07-06|2007-11-13|Ailive, Inc.|Real time context learning by software agents|
    US7937243B2|2007-08-03|2011-05-03|Ailive, Inc.|Method and apparatus for non-disruptive embedding of specialized elements|
    US7263462B2|2004-07-30|2007-08-28|Ailive, Inc.|Non-disruptive embedding of specialized elements|
    US7613610B1|2005-03-14|2009-11-03|Escription, Inc.|Transcription data extraction|
    KR100630118B1|2005-04-21|2006-09-27|삼성전자주식회사|망간 광섬유 공유 시스템|
    US20070061413A1|2005-09-15|2007-03-15|Larsen Eric J|System and method for obtaining user information from voices|
    US7927216B2|2005-09-15|2011-04-19|Nintendo Co., Ltd.|Video game system with wireless modular handheld controller|
    US7620316B2|2005-11-28|2009-11-17|Navisense|Method and device for touchless control of a camera|
    US7834850B2|2005-11-29|2010-11-16|Navisense|Method and system for object control|
    DK1993687T3|2006-02-10|2012-08-27|Ippasa Llc|Konfigurerbart manuelt styreapparat|
    US7809145B2|2006-05-04|2010-10-05|Sony Computer Entertainment Inc.|Ultra small microphone array|
    US7697700B2|2006-05-04|2010-04-13|Sony Computer Entertainment Inc.|Noise removal for electronic device with far field microphone on console|
    US7545926B2|2006-05-04|2009-06-09|Sony Computer Entertainment Inc.|Echo and noise cancellation|
    US20070260517A1|2006-05-08|2007-11-08|Gary Zalewski|Profile detection|
    US20070261077A1|2006-05-08|2007-11-08|Gary Zalewski|Using audio/visual environment to select ads on game platform|
    US8419545B2|2007-11-28|2013-04-16|Ailive, Inc.|Method and system for controlling movements of objects in a videogame|
    US20090221368A1|2007-11-28|2009-09-03|Ailive Inc.,|Method and system for creating a shared game space for a networked game|
    JP4481280B2|2006-08-30|2010-06-16|富士フイルム株式会社|画像処理装置、及び画像処理方法|
    US8277316B2|2006-09-14|2012-10-02|Nintendo Co., Ltd.|Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting|
    US8771071B2|2006-11-22|2014-07-08|Sony Computer Entertainment America Llc|System and method of rendering controller information|
    US7636697B1|2007-01-29|2009-12-22|Ailive Inc.|Method and system for rapid evaluation of logical expressions|
    US7636645B1|2007-06-18|2009-12-22|Ailive Inc.|Self-contained inertial navigation system for interactive control using movable controllers|
    US8655622B2|2008-07-05|2014-02-18|Ailive, Inc.|Method and apparatus for interpreting orientation invariant motion|US8384665B1|2006-07-14|2013-02-26|Ailive, Inc.|Method and system for making a selection in 3D virtual environment|
    US8678896B2|2007-06-14|2014-03-25|Harmonix Music Systems, Inc.|Systems and methods for asynchronous band interaction in a rhythm action game|
    US8690670B2|2007-06-14|2014-04-08|Harmonix Music Systems, Inc.|Systems and methods for simulating a rock band experience|
    CN101465961B|2007-12-19|2013-10-30|神基科技股份有限公司|以特征影像辨识控制快门的摄像装置及方法|
    US8543929B1|2008-05-14|2013-09-24|Adobe Systems Incorporated|User ratings allowing access to features for modifying content|
    US8663013B2|2008-07-08|2014-03-04|Harmonix Music Systems, Inc.|Systems and methods for simulating a rock band experience|
    KR20100041006A|2008-10-13|2010-04-22|엘지전자 주식회사|3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법|
    USD666663S1|2008-10-20|2012-09-04|X6D Limited|3D glasses|
    USD662965S1|2010-02-04|2012-07-03|X6D Limited|3D glasses|
    USD672804S1|2009-05-13|2012-12-18|X6D Limited|3D glasses|
    USRE45394E1|2008-10-20|2015-03-03|X6D Limited|3D glasses|
    USD624952S1|2008-10-20|2010-10-05|X6D Ltd.|3D glasses|
    US8542326B2|2008-11-17|2013-09-24|X6D Limited|3D shutter glasses for use with LCD displays|
    USD692941S1|2009-11-16|2013-11-05|X6D Limited|3D glasses|
    JP5368118B2|2009-01-16|2013-12-18|任天堂株式会社|情報処理システム、情報処理装置、情報処理プログラム、および通信方法|
    US7996793B2|2009-01-30|2011-08-09|Microsoft Corporation|Gesture recognizer system architecture|
    USD603445S1|2009-03-13|2009-11-03|X6D Limited|3D glasses|
    USD646451S1|2009-03-30|2011-10-04|X6D Limited|Cart for 3D glasses|
    USD650956S1|2009-05-13|2011-12-20|X6D Limited|Cart for 3D glasses|
    US20100299640A1|2009-05-21|2010-11-25|Microsoft Corporation|Tracking in a virtual world|
    US20100295847A1|2009-05-21|2010-11-25|Microsoft Corporation|Differential model analysis within a virtual world|
    US8449360B2|2009-05-29|2013-05-28|Harmonix Music Systems, Inc.|Displaying song lyrics and vocal cues|
    US8465366B2|2009-05-29|2013-06-18|Harmonix Music Systems, Inc.|Biasing a musical performance input to a part|
    US8972476B2|2009-06-23|2015-03-03|Microsoft Technology Licensing, Llc|Evidence-based virtual world visualization|
    JP5317911B2|2009-09-28|2013-10-16|任天堂株式会社|情報処理プログラムおよび情報処理装置|
    US9981193B2|2009-10-27|2018-05-29|Harmonix Music Systems, Inc.|Movement based recognition and evaluation|
    EP2494432B1|2009-10-27|2019-05-29|Harmonix Music Systems, Inc.|Gesture-based user interface|
    USD664183S1|2010-08-27|2012-07-24|X6D Limited|3D glasses|
    US9244533B2|2009-12-17|2016-01-26|Microsoft Technology Licensing, Llc|Camera navigation for presentations|
    WO2011087328A2|2010-01-15|2011-07-21|한국전자통신연구원|장면 처리 장치 및 방법|
    KR101036280B1|2010-01-26|2011-05-23|광주과학기술원|수동 조작 도구를 이용한 3차원 메뉴 시스템|
    US8619122B2|2010-02-02|2013-12-31|Microsoft Corporation|Depth camera compatibility|
    US8687044B2|2010-02-02|2014-04-01|Microsoft Corporation|Depth camera compatibility|
    US8636572B2|2010-03-16|2014-01-28|Harmonix Music Systems, Inc.|Simulating musical instruments|
    EP2550579A4|2010-03-24|2015-04-22|Hewlett Packard Development Co|Gesture mapping for display device|
    US9646340B2|2010-04-01|2017-05-09|Microsoft Technology Licensing, Llc|Avatar-based virtual dressing room|
    US9098873B2|2010-04-01|2015-08-04|Microsoft Technology Licensing, Llc|Motion-based interactive shopping environment|
    US9539510B2|2010-04-30|2017-01-10|Microsoft Technology Licensing, Llc|Reshapable connector with variable rigidity|
    WO2011155958A1|2010-06-11|2011-12-15|Harmonix Music Systems, Inc.|Dance game and tutorial|
    US9358456B1|2010-06-11|2016-06-07|Harmonix Music Systems, Inc.|Dance competition game|
    US8562403B2|2010-06-11|2013-10-22|Harmonix Music Systems, Inc.|Prompting a player of a dance game|
    US9262015B2|2010-06-28|2016-02-16|Intel Corporation|System for portable tangible interaction|
    USD669522S1|2010-08-27|2012-10-23|X6D Limited|3D glasses|
    US9024166B2|2010-09-09|2015-05-05|Harmonix Music Systems, Inc.|Preventing subtractive track separation|
    USD671590S1|2010-09-10|2012-11-27|X6D Limited|3D glasses|
    KR20120051208A|2010-11-12|2012-05-22|엘지전자 주식회사|멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치|
    US8570320B2|2011-01-31|2013-10-29|Microsoft Corporation|Using a three-dimensional environment model in gameplay|
    US20120196684A1|2011-02-01|2012-08-02|David Richardson|Combining motion capture and timing to create a virtual gaming experience|
    US8942917B2|2011-02-14|2015-01-27|Microsoft Corporation|Change invariant scene recognition by an agent|
    RU2455676C2|2011-07-04|2012-07-10|Общество с ограниченной ответственностью "ТРИДИВИ"|Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления|
    GB2493646B|2011-08-11|2013-08-07|Sony Comp Entertainment Europe|Input device, system and method|
    GB2493701B|2011-08-11|2013-10-16|Sony Comp Entertainment Europe|Input device, system and method|
    CN103197774A|2012-01-09|2013-07-10|西安智意能电子科技有限公司|一种为发射光源的运动轨迹映射其应用轨迹的方法与系统|
    US8805010B2|2012-01-18|2014-08-12|Microsoft Corporation|Gesture identification using an ad-hoc multidevice network|
    US9594487B2|2012-02-27|2017-03-14|Autodesk, Inc|Systems and methods for manipulating a 3D object in a 3D model using a software widget and surface constraints|
    USD711959S1|2012-08-10|2014-08-26|X6D Limited|Glasses for amblyopia treatment|
    US9552598B2|2012-10-12|2017-01-24|Ebay Inc.|Mobile trigger web workflow|
    US9374517B2|2012-10-12|2016-06-21|Ebay Inc.|Guided photography and video on a mobile device|
    US20140245200A1|2013-02-25|2014-08-28|Leap Motion, Inc.|Display control with gesture-selectable control paradigms|
    US9679332B2|2013-02-28|2017-06-13|Lg Electronics Inc.|Apparatus and method for processing a multimedia commerce service|
    US9294539B2|2013-03-14|2016-03-22|Microsoft Technology Licensing, Llc|Cooperative federation of digital devices via proxemics and device micro-mobility|
    US20140300702A1|2013-03-15|2014-10-09|Tagir Saydkhuzhin|Systems and Methods for 3D Photorealistic Automated Modeling|
    US9911231B2|2013-10-08|2018-03-06|Samsung Electronics Co., Ltd.|Method and computing device for providing augmented reality|
    EP3133469B1|2015-08-18|2019-11-13|Sikorsky Aircraft Corporation|System and method for digitization of vehicular components|
    CN106339150A|2016-08-24|2017-01-18|协和干细胞基因工程有限公司|一种多媒体交互展示系统|
    WO2018132622A1|2017-01-11|2018-07-19|Taqtile|Managing virtual reality objects|
    EP3616764A1|2017-06-22|2020-03-04|Centurion VR, Inc.|Virtual reality simulation|
    法律状态:
    2011-02-03| A621| Written request for application examination|Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110202 |
    2012-02-22| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
    2012-05-22| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120521 |
    2012-05-29| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120528 |
    2012-06-22| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120621 |
    2012-06-29| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120628 |
    2012-07-24| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120723 |
    2012-07-31| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120730 |
    2012-08-22| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120821 |
    2012-09-12| A02| Decision of refusal|Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |
    2013-01-12| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130111 |
    2013-03-08| A911| Transfer to examiner for re-examination before appeal (zenchi)|Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130307 |
    2013-05-22| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
    2013-08-22| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130821 |
    2013-08-29| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130828 |
    2013-09-25| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130924 |
    2013-10-02| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131001 |
    2013-10-22| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131021 |
    2013-11-07| TRDD| Decision of grant or rejection written|
    2013-11-13| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131112 |
    2013-11-21| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131115 |
    2013-11-22| R150| Certificate of patent or registration of utility model|Ref document number: 5416714 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
    2016-11-15| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2017-11-14| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2018-11-13| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2019-11-19| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2020-11-11| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2021-11-09| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]